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(54) Title: THREE-DIMENSIONAL STATISTIC RECONSTRUCTION OF SURFACES 
(54) Titre: RECONSTITUTION STATISTIQUE DE SURFACES EN TROIS DIMENSIONS 
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(57) Abstract: The invention concerns a method and a system for three-dimensional reconstruction of an image representing the 
surface contours of at least an object (1), from at least a two-dimensional view of said object obtained by X-ray, which consists in: 
detennining the position of the photographing source (7) in a reference repository; selecting a predefined model constituting a mean 
form of the object, and repeating the process until the contours of the model are such that the variations between the overhead projec- 
tion rays of the contours of the two-dimensional image from the source and the model surface are minimal; selecting an orientation 
and a position for the model in the reference repository; then selecting a deformation of the model to modify its contours in three 
dimensions. 
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(57) Abreg6: U invention concerne un proc&ie* et un systeme de reconstitution d'une image en trois dimensions representant les 
contours surfaciques d'au moins un objet (1), a partie d'au moins une vue en deux dimensions de cet objet prise aux rayons X, dans 
lesquels on determine la position de la source (7) de prise de vues dans un re'fe'rentiel de reference, on selecuonne un modele pred£fini 
constituant une forme moyenne de l'objet et, de facon iterative jusqu' a ce que les contours du modele soient tels que les ecarts entre 
des rayons de re*troprojection des contours de l'image en deux dimensions depuis la source et la surface du modele soient minimaux, 
on selectionne une orientation et une position du modele dans le referentiel de reference, puis on selectionne une deformation du 
modele pour modifier ses contours en trois dimensions. 
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RECONSTITUTION STATISTIQUE DE SURFACES EN TROIS DIMENSIONS 



La presente invention concerne la reconstitution d f ima- 
ges en trois dimensions et, plus particulidrement, la reconstitu- 
tion des contours surfaciques d'une image a partir de vues, meme 
incompletes , en deux dimensions, 
5 Un exemple d 1 application de la presente invention est 

la reconstitution d ! images representant des elements osseux a 
partir d 1 images en deux dimensions prises, par exerrple, aux 
rayons X. De telles images peuvent servir, par exemple, a simuler 
une intervention chirurgicale en permettant au praticien de pre- 

10 visualiser les positions respectives des os au niveau d f une arti- 
culation, par exemple, en cas de plastie ligamentaire ou de mise 
en place de prothdse. 

Aujourd'hui, pour permettre au praticien de visualiser 
une image en trois dimensions a partir d 1 images en deux dimen- 

15 sions, on est contraint d'utiliser un scanner a rayons X effec- 
tuant des tomographies. A partir de ces tomographies, on sait 
reconstituer une image en trois dimensions. Soit il s ! agit d'une 
technologie dite de tomographies en trois dimensions dans 
laquelle un grand nombre de vues (de l'ordre de 200) sont prises 

2 0 au moyen d ! un scanner a rayons X selon differentes positions, et 
les contours de l'os sont alors reconstitues par traitement 
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d' image a partir de ces vues au scanner. Soit il s'agit d'une 
technologie dite de tomographies en deux dimensions dans laquelle 
un grand nombre de coupes sont prises au moyen d'un scanner a 
rayons. X transversalement a l'os. On peut alors reconstituer 
5 1' allure et la structure de l'os. 

La technique du scanner donne de bons resultats mais 
est d'une mise en oeuvre lourde et couteuse. En effet, 1' utilisa- 
tion d'un scanner permet d'obtenir un ensemble d 1 images en deux 
dimensions fournissant non seulement des informations sur le 

10 contour mais egalement sur I'interieur de l'os. Or, dans de nom- 
breuses applications, seule la connaissance du contour surfacique 
de l'os ou de l'cbjet est necessaire. 

un autre exenple d 1 application de la presente invention 
est la reconstitution d'ossements incomplets, par exenple, en 

15 archeologie. Uae reconstitution d 1 images en trois dimensions peut 
permettre de retrouver de fagon quasi -parfaite la forme origi- 
nelle de l'os mane si celui-ci est decouvert de fagon incomplete . 
Dans une telle application, des prdblemes similaires a ceux expo- 
ses ci-dessus en relation avec la simulation d' interventions chi- 

2 0 rurgicales se posent. En particulier, il est souvent utile de 
connaitre la forme de l'os sans avoir a se preoccuper de sa 
structure interne. 

Un autre inconvenient des techniques connues est 
qu f elles imposent une dose de radiations inportante pour le 

25 patient ce qui n'est pas souhai table. Si cet inconvenient est 
moins sensible dans le domaine de 1 1 archeologie ou c'est le cout 
qui predomine, il est particulierement genant dans la simulation 
d 1 interventions chirurgicales . 

La presente invention s ! applique plus particulidrement 

30 a la reconstitution d' images se rapportant £ des dbjets identi- 
fies, c'est-a-dire, dont on connait II l'avance la forme generale. 
Par exenple, pour un os, il faut au prealable d§cider de quel os 
il s'agit. 

La presente invention vise a proposer un nouveau pro- 
35 c6de de reconstitution d' images en trois dimensions qui pallie 
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les inconvenient s des techniques connues. L 1 invention vise, en 
particulier, a proposer une solution qui ne nScessite pas I'em- 
ploi couteux d'un scanner a rayons X. 

La presente invention vise egalement i. proposer une 
5 solution qui soit compatible avec une exposition minimale aux 
rayons X ou equivalents. 

L' invention vise en outre a minimiser le ncuribre de vues 
en deux dimensions necessaires pour reconstituer 1* image en trois 
dimensions . 

10 Pour atteindre ces dbjets, la presente invention pre- 

voit un procede de reconstitution d ! une image en trois dimensions 
representant les contours surfaciques d T au moins un bbjet, a par- 
tir d'au moins une vue en deux dimensions de cet dbjet prise aux 
rayons X, caracteris§ en ce qu'il consiste a : 

15 determiner la position de la source de prise de vues 

dans un referentiel de reference ; 

selectionner un modele predefine constituant une forme 
moyenne de l ! objet ; et 

de fagon iterative jusqu f £ ce que les contours du 

20 modele soient tels que les 6carts, entre des rayons de retropro- 
jection des contours de l 1 image en deux dimensions depuis la 
source et la surface du modele, soient minimaux : 

sSlectionner une orientation et une position du modele 
dans le r6ferentiel de reference, puis 

25 select ionner une deformation du modele pour modifier 

ses contours en trois dimensions. 

Selon un mode de realisation de la presente invention, 
le modele est dbtenu & partir d'une population d f dbjets pour 
laquelle on recherche la correspondence statistique commune a 

30 tous les objets pour determiner une forme moyenne et les deforma- 
tions principales par rapport a cette forme moyenne, de fagon a 
disposer d'au moins un modele statistique. 

Selon un mode de realisation de la presente invention, 
les etapes de selection iteratives consistent £ faire subir au 

35 modele statistique, successivement, une transformation rigide 
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modifiant sa position et/ou son orientation et une deformation 
non-rigide modifiant ses contours surf aciques . 

Selon un mode de realisation de la presente invention, 
les contours de 1' image en deux dimensions sont obtenus automati- 
5 quement en projetant le modele dans le plan de 1' image en deux 
dimensions, et en deformant les contours projetes de fa?on a les 
faire coincider avec les points de fort gradient en niveaux de 
gris de 1' image en deux dimensions. 

Selon un mode de realisation de la presente invention, 
10 la determination automat ique des contours de 1' image en deux 
dimensions est effective de fagon iterative, chaque iteration 
etant intercalee entre deux iterations successives des etapes de 
selection. 

Selon un mode de realisation de la presente invention, 
15 on determine, dans le referentiel de reference, des coordonnees 
en trois dimensions de points de l'objet, de fagon a disposer de 
points de reference suppiementaires pour les etapes de selection 
iteratives de position, orientation, et deformation. 

Selon un mode de realisation de la presente invention, 
20 on utilise plusieurs images en deux dimensions pour lesquelles 
les positions respectives de la source de prise de vues sont tou- 
tes determinees dans le r6f6rentiel de reference, et on effectue 
les etapes de selections iteratives en tenant compte des rayons 
de retrcprojection des contours de toutes les images en deux 
25 dimensions. 

Selon un mode de realisation de la presente invention, 
le nombre d' images utilise est fonction de la precision souhai- 
tee. 

Selon un mode de realisation de la presente invention, 
3 0 la surface du modele est constituee d' elements de triangle, les- 
dits ecarts etant mesures par rapport k des points de certaines 
aretes constituant des generateurs du contour en trois dimen- 
sions . 

Selon un mode de realisation de la presente invention, 
35 le procede est applique & la reconstitution des contours surfaci- 
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ques de plusieurs objets lies entre eux par des relations de 
transformation rigide et/ou eiastique. 

Selon un mode de realisation de la presente invention, 
le procede est applique & la reconstitution d' images d»os. 
5 L ' invention concerne egalement un systeme de traitement 

d 1 images , carport ant des moyens pour la mise en oeuvre du procede 
de reconstitution d 1 images en trois dimensions. 

Ces objets, caracteristiques et avantages, ainsi que 
d'autres de la presente invention seront exposes en detail dans 
10 la description suivante de modes de realisation particuliers 
faite a titre non-limitatif en relation avec les figures jointes 
parmi lesquelles : 

la figure 1 represente un mode de realisation d'un sys- 
teme de reconstitution d f images en trois dimensions & partir d'un 
15 dispositif de prise de vues en deux dimensions selon la presente 
invention ; 

la figure 2A illustre la prise d'une vue en deux dimen- 
sions pour la mise en oeuvre du procede de reconstitution d' ima- 
ges en trois dimensions selon la presente invention ; 

2 0 la figure 2B illustre la prise de trois vues en deux 

dimensions pour la mise en oeuvre du procede de reconstitution 
selon la presente invention ; 

les figures 3A, 3B et 3C illustrent trois Stapes carac- 
teristiques du procede selon un mode de realisation de la pre- 
25 sente invention ; 

la figure 4 illustre un mode de determination de gene- 
rateurs de contour selon la presente invention ; et 

la figure 5 illustre un mode de determination pr^fere 
selon 1' invention de l'6cart entre un modele en trois dimensions 

3 0 et une vue en deux dimensions. 

Les memes elements ont ete designes par les memes refe- 
rences aux differentes figures qui ne sont pas d. l'echelle. Pour 
des raisons de clarte, seuls les elements qui sont necessaires a 
la comprehension de l 1 invention ont ete representes aux figures 
3 5 et seront decrits par la suite. En particulier, les moyens de 
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traitement d 1 images comprenant les calculateurs informatiques 
n'ont pas ete representes et ne seront pas decrits de fagon 
detaillee, car leur realisation est £ la portee de l'homme du 
metier, a partir des indications fonctionnelles donn£es ci-apr£s. 
5 Une caract6ristique de la pr§sente invention est de 

rechercher la position et 1 ' orientation d f un dbjet a reconsti- 
tuer, et dont on connait au moins une vue en deux dimensions, a 
partir d'une base de donn6es contenant des modeles de cet dbjet. 
Quand plusieurs vues en deux dimensions sont utilis£es, ces vues 

10 sont toutes ref6rencees dans un meme referentiel. Ainsi, 1* inven- 
tion concerne la reconstitution d f une image representant un dbjet 
deja identifie et dont on peut disposer de modeles de taille 
et/ou de forme differentes. 

Une caracteristique d f un mode de realisation pref£re de 

15 la presente invention est d'utiliser au moins un module statisti- 
que deformable, etabli a partir de la base de donn£es, pour 
reconstituer la forme en trois dimensions de 1' dbjet. Ainsi, 
l 1 invention prevoit de definir, avant toute reconstitution, une 
base de donnees contenant des modeles en trois dimensions de 

2 0 l ! objet a reconstituer ou, de preference, un ou plusieurs modeles 

statistiques diformables k partir de cette base de donnees. 

La figure 1 represente une vue schematique d r un systeme 
de reconstitution d 1 images en trois dimensions selon un mode de 
realisation de la presente invention. L'exenple de la figure 1 
25 concerne la reconstitution de 1' image d'un os 1 3. partir de 
radiographics en deux dimensions.. En figure 1, on a represente 
schematiquement et partiellement le corps d'un patient p dont la 
jambe contient l f os 1 que 1 'on souhaite visualiser. La jambe du 
patient p (done l'os 1) est, par exemple, pose sur une table 2. 

3 0 une potence 3 porte un dispositif 4 de localisation en trois 

dimensions qui peut etre qptique, magnet ique, mecanique ou ultra- 
sonore et qui rep£re la position et 1 1 orientation de multiples 
capteurs-emetteurs const itues, par exertple, de diodes infra- 
rouges, de reflecteurs, d'6metteurs magnetiques, a ultrasons, 
35 etc. un tel localisateur est parfaitement connu et ne sera pas 
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detaille plus avant. On notera simplement que, pour garantir une 
localisation correcte du patient (de I'os 1), celui-ci est gen£- 
ralement egalement 6quipe d'un capteur-emetteur 18 detectable par 
le localisateur 4. En effet, selon 1' invention, toutes les vues 
5 doivent pouvoir etre exploitees dans un meme referent iel (de 
reference), qui est associe a l'objet que 1 'on reconstitue. 

Plusieurs capteurs-emetteurs peuvent etre fixes sur le 
systeme de radiologie, proche de la source 7 ( capteur-emetteur 
19) ou proche d ! un detecteur d f image 9 (capteur-emetteur 5), de 

10 fa?an a reperer la position du systeme de radiologie par rapport 
au referentiel de reference du capteur-emetteur 18. 

Dans certains cas, les capteurs-emetteurs 5 et 19 sont 
difficilement rep^rables en raison de leur eloignement ou de la 
presence d'bbjets parasites, dans le champ de mesure du localisa- 

15 teur 4. Dans ce cas, un capteur-emetteur 20 peut etre. installe 
sur la table 2 dans le chairp de mesure du localisateur 4. On 
posit ionne alors le systeme radiologique dans de bonnes condi- 
tions de mesure et on repere les positions des capteur-6metteurs 
5 et 19 par rapport au capteur-emetteur 20 Line fois pour toutes 

2 0 (on ne renouvelle cette etape que si on bouge le systdme de 
radiologie dans son ensemble) . 

Le systeme radiologique etant equipe de codeurs angu- 
laires sur ses axes, comme cela sera detaille plus loin, les 
changements de position relative du systeme radiologique sont 

25 mesures a l ! aide de ces codeurs et peuvent ainsi Stre report§s 
dans le r6ferentiel du capteur-emetteur 20. Pour chaque prise de 
vue,.- on mesure la relation geometrique entre les capteurs- 
emetteurs 20 et 18 et, par ce biais, on reporte la position du 
systeme radiologique dans le referentiel de reference du capteur- 

30 emetteur 18. Ainsi, toutes les radiographies sont calibrees dans 
le referentiel du capteur-emetteur 18 qui peut etre mobile. 

Le dispositif 6 est, par exemple, const itu£ d'une 
source 7 a rayons X portee par une premiere extremite d'un bras 8 
en demi-cercle dont 1» autre extremite est destinee a recevoir le 

35 film 9 d'inpression de la radiographic, ou un capteur electroni- 
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que equivalent tel qu'un amplificateur de brillance, ou un detec- 
teur plat au silicium amorphe. La relation entre le bras 8 et la 
table 2 est telle que cette derniere se trouve entre la source 7 
et le capteur 9. Le .bras 8 est monte a rotation autour d'un axe 
5 10, motorise ou a deplacement manuel, et porte par une potence 
11. L' ensemble de prise de vues en deux dimensions peut ainsi 
tourner autour de l'os 1 pour effectuer le nombre d6sir6 de 
radiographies de celui-ci. Le cas §chSant, le localisateur opti- 
que 4 peut etre associe k un dispositif de codage angulaire de la 

10 position de l'axe 10. 

L ! ensemble est pilote par un systeme informatique, par 
exenple, ion ordinateur 12 associe, de preference, & un £cran de 
visualisation 13. A la figure 1, on a symbolise par des liaisons 
unifilaires 14, 15, 16 et 17, les bus informatiques d'6change de 

15 signaux electriques de commande et de dannees entre 1' ordinateur 
12 et, respectivement, le localisateur 4, la source 7, le moteur 
ou le codeur optionnel de l'axe 10 et le capteur 9. 

Les figures 2A et 2B illustrent deux modes de prises de 
vues selon deux Trades de realisation de la pr£sente invention. 

2 0 Aux figures 2A et 2B, les vues en deux dimensions ont 6t6 repre- 

sentees par les plans respectifs dans lesquelles elles sont pri- 
ses, c'est-a-dire par 1 • allure de la surface du capteur 9 (figure 
1) lors des prises. Cela correspond aux images radiographiques en 
deux dimensions recup6r6es par le systeme informatique. 
25 La figure 2A represente le cas d'une seule prise de vue 

dans un plan PI, fournissant une image II de l'os 1. La position 
de la source 7 a §te symbolisee par un point ou convergent des 
rayons r de retrcprojection des quatre coins du plan PI. 

La figure 2B represente le cas d'une triple prise de 

3 0 vues dans des plans PI, P2 et P3, fournissant trois images II, 12 

et 13 en deux dimensions de l'os 1. En figure 2B, la position de 
la source n'est pas const ante, celle-ci est diff€rente pour cha- 
que prise de vue. Toutefois, grace au localisateur 4, toutes les 
positions de la source sont cannues dans le referentiel de r6f£- 
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rence. Par soucis de clarte, seuls les rayons rl des quatre coins 
du plan PI dans la position de 1 ! image II ont ete representes. 

On not era que la source de prises de vues peut subir, 
entre .deux images en deux dimensions, d'autres mouvements que 
5 dans ion meme plan comme illustri par les figures 1 et 2B. En 
d'autres termes, le bras 8 du systeme de prises de vues 6 peut 
presenter plus de deux degr§s de liberte, dont chacun pourra etre 
muni d'un dispositif de codage angulaire. Selon un mode de reali- 
sation pref£re, le bras 8 est monte sur deux axes de rotations 

10 horizontal et vertical et un axe de translation vertical. 

On notera egalement que les images en deux dimensions 
peuvent n'etre que partielles. Par exemple, dans 1 1 application 
aux radiographics, celles-ci peuvent etre interpretees par l'ope- 
rateur pour valider les contours des vues en deux dimensions a 

15 prendre en compte pour la reconstitution. Une telle interpreta- 
tion n f est pas genante en raison du faxble nombre de vues en deux 
dimensions necessaire selon 1 ' invention (moins de dix en gene- 
ral) . La validation des contours dans le systeme informatique 
peut etre effectuee, par exemple/ au moyen d'une souris, d'un 

2 0 crayon optique, d'un ecran tactile, ou Equivalent, de fagon clas- 
sique pour un enregistrement de contour sur une image en niveaux 
de gris. 

Selon un autre mode de realisation prefere, la determi- 
nation des contours sur les images radiographiques est automat i- 

25 see en mettant en oeuvre un procede dit de recalage en deux 
dimensions. Un tel procede consiste k determiner le contour de 
fagon automatique par analyse des gradients les plus forts en 
niveaux de gris. Ce precede est decrit, par exemple, dans la 
these de Gelu Ionescu, presentee publiquement le 4 decembre 1998 

30 a 1'Uftiversite Joseph Fourier de Grenoble (France), et ayant pour 
tit re "Segmentation et recalage d» images Schographiques par uti- 
lisation de connaissances physiologiques et morphologiques " . 
Selon 1' invention, on met en oeuvre ce procede de recalage en 
deux dimensions en combinaison avec une projection, sur l 1 image 

35 en deux dimensions, du modele statist ique d6formable de l'cbjet 
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dont on souhaite reconstituer les contours surfaciques en trois 
dimensions. On effectue une analyse iterative d f un contour pro- 
jete du modele sur 1 ! image en deux dimensions jusqu'a bbtenir, 
apres plusieurs passes (par exemple de 3 a 10} , une identite 
5 entre le contour du modele projetS qui sera decrit ci-apres et 
dont 1 1 orientation et la deformation auront ete adaptes par le 
procede de l 1 invention, et le contour determine par analyse des 
gradients les plus forts en niveaux de gris. Cette combinaison 
sera mieux comprise par la suite en relation avec la figure 5. 

10 Pour simplifier la presente description, on considerera 

ci-aprds que les contours des vues en deux dimensions sont 
connus. En pratique, les Stapes du procede de 1' invention seront 
effectuees en boucle, y ccmpris le recalage en deux dimensions, 
jusqu'a obtenir un r6sultat satisfaisant. 

15 Selon 1' invention, une fois que la ou les vues en deux 

dimensions ont ete cbtenues, il reste & determiner, par recherche 
de correspondance dans la base de donnees, la forme et la taille 
de l'objet (ici, l'os) en trois dimensions. 

Pour ce faire, I 1 invention prevoit de rechercher le 

2 0 noddle pour lesquelles les distances separant les contours de 
chaque vue en deux dimensions et la surface du modele sont mini- 
males. 

Dans le mode de realisation prgfere oft on utilise un 
modele statistique deformable (definissant ainsi une famille de 

25 modeles) de l'objet k reconstituer, on recherche a s'approcher le 
plus possible, par deformation iterative de ce module, de la 
forme dont les contours sont tels que, comme on le verra par la 
suite en relation avec la figure 5, les rayons de retroprojection 
s'appuyant sur les points des contours de 1' image (ou des images) 

30 en deux dimensions depuis la source (ou depuis leurs sources 
respectives) sont tous tangentiels & la surface du modele, etant 
entendu que les differents contours en deux dimensions sont 
reperables dans le referentiel de reference. 

La realisation du modele statistique deformable en lui 

35 meme ne fait pas l'objet de la presente invention et est parfai- 
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tement classique. On se bornera a rappeler que la realisation 
d'un tel meddle fait generalement appel a une recherche d'une 
forme moyenne d'une population d'bbjets de meme type (par exem- 
ple, des femurs) constituant la base de donnees, suivie d'une 
5 analyse en composantes principales pour determiner les deforma- 
tions principales (essentielles) a appliquer §l cette forme 
moyenne et cbtenir ainsi le modele statistique. 

Une methode de determination d ! un module statistique a 
partir d'une famille d ' echantillons est decrite, par exemple, 

10 dans 1' article "Building a Cotrplete Surface Model from Sparse 
Data Using Statistical Shape Models: Application to Computer 
Assisted Knee Surgery" de Markus Fleute et Stephane Lavallee, 
paru dans MEDICAL IMAGE COMPUTING AND COMPUTER - ASSISTED 
INTERVENTION - MICCAI'98, Springer- Verlag LNCS Series, pages 880- 

15 887, en Octobre 1998, et dont le contenu est incoipore ici par 
reference. On notera que la precision de la reconstruction des 
contours surfaciques cperee par 1 ' invention depend des echantil- 
lons utilises pour construire la base de donnees du modele sta- 
tistique. Par exemple, si un module statistique de femur est cree 

2 0 a partir d'une population d' echantillons ayant des formes norma - 

les (sans pathologie) , on pourra reconstituer avec precision des 
formes normales mais la precision sera limitee si le femur radio- 
graphie a une forme pathologique . Par centre, si le modele stati- 
stique est cree a partir d'une grande population d ' echantillons 
25 contenant a la fois des formes normaLles et des formes pathologi- 
ques, on pourra reconstituer, avec precision, des dbjets normaux 
et pathologiques . 

Selon l 1 invention, une fois que I'on dispose des images 
en deux dimensions, on recherche le cas £cheant a quel modele 

3 0 contenu dans la base de donnees ces images se rapprochent le plus 

(par exemple, si plusieurs types d ! os ou si plusieurs modeles 
statistiques d f un mime os sont disponibles) , puis on applique des 
transformations a ce modele pour s'approcher le plus possible 
d'une image en trois dimensions, telle que les rayons de retro- 
35 projection des images jusqu'i leurs sources respectives sont tan- 
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gentiels aux surfaces de 1' image en trois dimensions, placee sur 
le trajet de ces rayons et dont ils sont respectivement les plus 
proches . 

De preference, on commence par faire subir au modele 
5 initial au repos) c'est-&~dire correspondant a la forme moyenne, 
une transformation dite rigide, Cest-&-dire, ne touchant qu f & 
son orientation et sa translation dans l'espace. Puis, quand on a 
obtenu la position pour laquelle les rayons de retroprojection 
sont tous a une distance minimale des contours du modele initial, 

10 on fait subir une deformation non-rigide au module, c f est-a-dire 
que sans modifier son orientation, on modifie sa forme a partir 
des donnees contenues dans la base statistique en modifiant les 
coefficients des modes principaux du modele, jusqu'a dbtenir la 
forme dont les contours se rapprochent le plus des rayons de 

15 retroprojection. Le cas echeant , le modele est prepositionne de 
fagon tres approximative par 1 ' op£rateur par rapport aux vues en 
deux dimensions affichees a l'ecran. On notera que les moyens 
(informatiques) de traitement d' images utilises sont classiques 
dans leur structure et n'ont done pas besoin d'etre dStailles. 

2 0 Les figures 3A a 3C illustrent ces deux etapes du pro- 

cede de 1' invention. La figure 3A represente une vue en trois 
dimensions d'un modele 21 avant toute deformation. II s'agit, par 
exemple, d'un modele statistique de 1' invent ion positionne par le 
praticien dans une orientation approximative. La figure 3B repre- 
25 sente le modele 21 1 de la figure 3A ^ 1' issue de l'etape d* orien- 
tation sans modification de forme. La figure 3C represente 
1' image 22 en trois dimensions resultant de la mise en oeuvre de 
1' invention, c 1 est -a- dire correspondant au module 21', dgforme 
pour que les rayons de retroprojection soient ( ideal ement) tan- 

3 0 gents a tous ses contours. 

Par souci de simplification, un seul grcupe de rayons r 
de retroprojection depuis une source 7 ont 6te repr6sentes aux 
figures 3A a 3C et l'ecran de projection de l 1 image correspon- 
dante n f a pas ete represente. Comme il ressort des figures 3A & 
35 3C, un grand nombre de rayons r de la figure 3A ne sont pas tan- 
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gents aux contours du modele 21. Le nombre de rayons de retropro- 
jection utilise depend de la precision souhaitee et des caractS- 
ristiques du modele statistique, essentiellement, du nombre de 
points, surfaciques choisis pour servir de reference lors de la 
5 definition de ce modele statistique. 

De la figure 3A a la figure 3B, la transformation est 
"rigide" , c'est-&-dire que le modele n'est pas deform§. Lors de 
cette transformation, le module 21 subit des translations et 
rotations af in d f dbtenir des mesures d'ecarts minimum entre 

10 chaque rayon de retroprojection partant des points de contour de 
1' image et la surface de 1'objet dans sa position courante. On 
utilise pour cela des methodes mathematiques de recherche du 
minimum de la somme des carres de ces ecarts par rapport aux six 
parametres (trois degres de liberte en rotation et trois degris 

15 de liberte en translation) definissant la transformation rigide 
recherchee. On obtient une configuration telle qu'illustree par 
la figure 3B dans laquelle le modele 21 1 a une position et 
orientation correcte mais une forme encore imparf aite . C'est 
pourquoi certain rayons r ! ne sont pas tangents mais traversent 

2 0 le modele. 

De preference, la position resultant de la transforma- 
tion rigide (rotation, translation) est obtenue par une methode 
(algorithme) dite du point le plus proche (Iterative Closest 
Point, ICP) . Un exenple d'une telle methode est decrit dans l'ar- 
25 tide "A Method for Registration of 3-D Shapes" de Paul J. Best 
et Neil D. McKay, paru dans IEEE TRANSACTIONS ON PATTERN ANALYSIS 
AND MACHINE INTELLIGENCE, vol. 14, NO. 2, en fevrier 1992, et 
dont le contenu est incorporg ici par rgfirence. 

De la figure 3B a la figure 3C, la transformation est 

3 0 "non- rigide" (filastique) et cansiste a deformer le module 21 1 

sans changer son orientation jusqu'a obtenir 1* image 22 en trois 
dimensions pour laquelle tous les rayons de retroprojection r n 
sont a une distance minimale des contours (idSalement tangents) . 
Cette transformation non- rigide est effectuee, par exenple et 
35 selon un premier mode de realisation, en calculant les parametres 
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de deformation a partir d'un algorithme connu sous la d6ncmina- 
tion anglo-saxonne "Down Hill Simplex". Cet algorithme a ete 
decrit, par exemple, en 1965 par J. A, Nelder et R. Mead dans 
COMPUTER JOURNAL, vpl. 7, pages 308-313, dont le cantenu est 
5 incorpore ici par reference, 

Selon un mode de realisation prefere de l 1 invention, 
l 1 algorithme utilise pour determiner la transformation nan-rigide 
du modele statistique est base sur la m£thode de Levenberg- 
Marquardt . Le principe de cette methode est de determiner le 

10 minimum d'une fonction non-lineaire multidimensionnelle en utili- 
sant les derivees partielles de la fonction par rapport aux para- 
metres de deformation du modele. Cette methode a £te d^crite, par 
exenple, en 1963 par D.W. Marquardt dans JOURNAL OF THE SOCIETY 
FOR INDUSTRIAL AND APPLIED MATHEMATICS, vol. 11, pages 431-441, 

15 dont le contenu est incorporg ici par r6f6rence. La fonction dont 
on cherche le minimum est ici la somme des carres des distances 
entre un ensemble de rayons de rStrpprojection s ' appuyant sur les 
points de contours et la surface du meddle. Les parametres de la 
recherche du minimum sont les coefficients que 1 'on applique a 

20 chaque mode de deformation du modele statistique, ainsi que cela 
est presente dans 1' article "Building a Corrplete Surface Model 
from Sparse Data Using Statistical Shape Models: Application to 
Computer Assisted Knee Surgery" de Markus Fleute et Stephane 
Laval lee, deja cite. 

25 Cette methode est appliquee et repetee a chaque 

position approch£e jusqu ! & ce qu'il ne soit plus possible de 
minimiser les ecarts. On enchaine ainsi un recalage rigide, un 
recalage Slastique, un recalage rigide, un recalage elastique, 
etc. Uhe fois la forme en trois dimensions reconstituSe, sa 

30 taille est bien entendu egalement connue dans la me sure ou toutes 
les vues en deux dimensions ont des tailles connues, de meme que 
la position, dans le r§ferentiel de reference, du modele par rap- 
port aux sources. Le nombre de passes n§cessaire depend essen- 
tiellement du nombre de parametres caracteristiques utilises pour 

35 modeliser la deformation. 
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On notera que l'ordre dans lequel sont effectuSes les 
deux etapes ci-dessus est important . En effet, si on conraence par 
effectuer une deformation non-rigide, on va faire correspondre un 
modele. avec une mauvaise orientation qu f il sera tres difficile a 
5 recuperer en raison de la deformation de forme subie. Toutefois, 
la minimisation des hearts peut etre effectuee glabalement en 
prenant en compte les paramitres rigides et les parametres de 
deformations en meme temps a chaque iteration du processus mat he - 
matique de minimisation. 

10 On notera que, a chaque etape iterative du proc6de dans 

laquelle on calcule les ecarts entre les contours du modele et 
les rayons de retroprojection, de nouveaux points entrant dans la 
mesure sont determines cote modele et/ou cote rayons de projec- 
tion. Ceci constitue une distinction inportante par rapport k des 

15 procedes connus de reconstitution d 1 images en trois dimensions 
dans lesquels les points de mesure sont les mimes pour toutes les 
iterations . 

Une autre caractiristique de la pr£sente invention est 
que les evaluations des ecarts minimaux ne sont pas n^cessaire- 

20 ment faites de fapon exhaustive pour tous les elements de surface 
du modele. En effet, cela conduirait parfois 3. des calculs trop 
dispendieux meme si le ncmbre d' Elements de surface peut §tre 
minimise en utilisant des €l§ments triangulaires . Selan l 1 inven- 
tion, les evaluations d" ecarts sont faites par rapport a des 

25 lignes caracteristiques constituant des gen£rateurs de contours 
du modele. Cela minimise le nottibre de points de mesure. Par exem- 
ple, un os de type f§mur, defini par environ 5000 bords de surfa- 
ces triangulaires, est defini par environ 300 generateurs de 
contours . 

30 De preference, l 1 analyse effectuee par le procede de 

l 1 invention ne touche que des g6n6rateurs de contour de 1 ! image 
en trois dimensions. Ainsi, la surface du modele statistique est, 
de preference, formee d 1 elements triangulaires dont certaines 
aretes definissent des g6n6rateurs du contour, un g6n6rateur de 

35 contour est defini par les aretes (bords) des triangles qui, pro- 
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jetes sur un plan, definissent le contour (interne ou externe) . 
Le recours aux generateurs de contours permet de reduire conside- 
rablement (par exemple, d'au moins un facteur 10) le noctibre de 
points, a chercher dans le modele pour verifier la correspandance 
5 avec 1' image reconstitute. 

La figure 4 illustre la definition d f un generateur de 
contour d'une image (module) en trois dimensions dont la surface 
est formee d' elements de surface triangulaires tels que decrits, 
par exemple, dans l f article "Anatomy-based registration of ct- 

10 scan and intraoperative x-ray images for guiding a surgical 
robot" de A. Gueziec, paru dans IEEE TRANSACTIONS ON MEDICAL 
IMAGING, 17(5), pages 715-728, en octdbre 1998, et dont le 
contenu est incorpore ici par reference. 

La figure 4 reprtsente, de fagon simplifi6e, deux 

15 triangles 30 et 31 definissant une portion de surface d'un modele 
en trois dimensions et dont I 1 arete commune constitue une genera- 
trice 32 du contour. Le calcul i. effectuer pour determiner si une 
arete constitue ou non une g6n6ratrice du contour consiste a cal- 
culer les angles a et p respectifs entre les normales aux surfa- 

2 0 ces des triangles 30 et 31 et les rayons 33 et 34 reliant le 

centre de ces surfaces au centre 35 de projection correspondant a 
la position de la source de rayons X. Si l'un des angles est 
infer ieur a 90° tandis que 1' autre est sup6rieur a 90°, leur 
arete commune 32 est alors une g6n6ratrice du contour. 
25 La figure 5 illustre le type de mesure effectuee pour 

determiner 1 'ecart e entre un rayon r de retroprojection et ton 
point d'un generateur de contour. Cette figure represent e, de 
fagon schematique, une image I de l'objet dans un plan P et une 
forme 21 du modele statistique placee sur le trajet des rayons de 

3 0 retroprojection de l 1 image I jusqu'& la source (non representee) . 

Pour chaque rayon de retroprojection r, on cherche les 
points respectifs 41 et 40 du rayon de retroprojection et d'un 
generateur de contour choisi parmi tous les generateurs , pour 
lequel 1' ecart e entre ces points est minimal. 
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Un avantage de la presente invention est qu'elle permet 
une reconstitution beaucoup plus rapide d'une image en trois 
dimensions par rapport aux techniques connues . 

Uh autre avantage de. la prSsente invention est qu'elle 
5 permet un alignement correct du modele m£me dans des zones oil on 
ne dispose pas de donnees de projection par les images en deux 
dimensions (par exemple, certaines courbures internes) . 

On notera que le contour de surface pourra, le cas 
echeant , etre affin£ au moyen d'un palpeur mecanique, cptique ou 
10 magnet i que fournissant des coordonnees spatiales dans le none 
referentiel que les images en deux dimensions. On dbtient alors 
des points supplementaires qui peuvent etre utilises dans la 
recherche de 1 ! image en trois dimensions. Le recours £ un palpeur 
peut servir, par exemple, a diminuer le notribre de vues en deux 
15 dimensions necessaires en donnant une information en trois dimen- 
sions . 

On notera egalement que le precede de 1 ' invention peut 
s ! appliquer a plusieurs contours surfaciques en trois dimensions 
constituant un ou plusieurs objets. Par exemple, on peut ainsi 

2 0 reconstituer simultanement la surface externe et la surface cor- 
ticale interne d'un os. On peut egalement reconstituer la forme 
de plusieurs os participant a un articulation et visibles simul- 
tanement sur les images radiologiques (par exemple, le tibia et 
le femur si on s ' interesse au genou) # ou encore la forme de plu- 

25 sieurs fragments osseux d'un meme os. Le modele recherche doit, 
dans ce dernier cas, cantenir les transformations rigides entre 
chaque contour surfacique en trois dimensions. Dans d' autre cas 
d' application k plusieurs objets, il faut bien entendu connaitre 
les diffSrents modeles statistiques et les ^ventuelle transforma- 

30 tions rigides ou ilastiques entre eux. 

Bien entendu, la presente invention est susceptible de 
diverses variantes et modifications qui apparaitront a l'hoitine de 
l'art. En particulier, le notiibre de vues en deux dimensions 
devant etre utilise pour la reconstitution d§pend de la precision 

35 souhait€e et de la conplexite du modele. Dans certains cas, une 
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seule vue en deux dimensions pourra suffire. De plus, bien que 
1' invention ait £te dScrite en relation avec une source de rayons 
X mobile, celle-ci pourra etre remplacee par plusieurs sources 
fixes, . pourvu de rejecter la contrainte d'cbtenir des images en 
5 deux dimensions dans un meme ref erentiel . En outre, la mise en 
oeuvre de 1' invention fait bien entendu appel a des techniques de 
traitement numerique d 1 images dant la realisation pratique est a 
la portee de l'homme du metier a partir des indications fonction- 
nelles donnees ci-dessus et dans les publications citees en r6f6- 
10 rences. 
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KEVENDICATIQN5 

1. Procede de reconstitution d'une image en trois 
dimensions representant les contours surfaciques d'au moins un 
bbjet (1) , a partix d'au moins une vue en deux dimensions de cet 
dbjet prise aux rayons X, caracterise en ce qu'il consiste a : 

5 determiner la position de la source (7) de prise de 

vues dans un ref erentiel de reference / 

selectionner un modele predefini constituant une forme 
moyenne (21) de l'objet / et 

de fagcai iterative jusqu'3. ce que les contours du 
10 modele soient tels que les ecarts, entre des rayons de retrcpro- 
jection des contours de 1' image en deux dimensions depuis la 
source et la surface du modele, soient minimaux : 

selectionner une orientation et une position du module 
dans le r6f6rentiel de reference, puis 
15 selectionner une deformation du modele pour modifier 

ses contours en trois dimensions. 

2. Procede selon la revendi cation 1, caracterise en ce 
que le modele est obtenu & partir d'une population d'dbjets pour 
laquelle on recherche la correspondance statistique commune a 

20 tous les objets pour determiner une forme moyenne et les deforma- 
tions principales par rapport a cette forme moyenne, de facpon a 
disposer d'au moins un modele statistique. 

3. Procede selon la revendi cation 2, caract6ris6 en ce 
que les etapes de selection iteratives consistent £. faire subir 

25 au module statistique, successivement, une transformation rigide 
modifiant sa position et/ou son orientation et une deformation 
non- rigide modifiant ses contours surfaciques. 

4. Procede selon I'une quelccnque des revendications 1 
& 3, caractgrisg en ce que les contours de 1' image en deux dimen- 

30 sions sont obtenus automatiquement en projetant le modele dans le 
plan de l 1 image en deux dimensions, et en deformant les contours 
projetes de fa?on a les faire coincider avec les points de fort 
gradient en niveaux de gris de 1' image en deux dimensions. 
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5. Procede selon la revendi cation 4, caracterise en ce 
que la determination automatique des contours de 1' image en deux 
dimensions est effectuee de fagon iterative, chaque iteration 
etant intercalee entre deux iterations successives des etapes de 

5 selection. 

6. Procede selon l'une quelconque des revendications 1 
a 5, caracterise en ce qu'il consiste a determiner, dans le r6f£- 
rentiel de reference, des coordonnees en trois dimensions de 
points de 1' do jet, de fagon a disposer de points de reference 

10 supplementaires pour les Stapes de selection iteratives de posi- 
tion, orientation, et deformation. 

7. Procede selon l'une quelconque des revendications 1 
a 6, caracterise en ce qu ! il consiste a utiliser plusieurs images 
en deux dimensions pour lesquelles les positions respectives de 

15 la source de prise de vues sont toutes d£termin£es dans le refe- 
rentiel de reference, et a effectuer les etapes de selections 
iteratives en tenant ccnpte des rayons de retrcprojection des 
contours de toutes les images en deux dimensions. 

8. Procede selon la revendi cat ion 7, caracterise en ce 
2 0 que le nombre d' images utilise est fonction de la precision 

souhaitee . 

9. Procede selon l ! une quelconque des revendications 1 
a 8, caracterise en ce que la surface du modele est const ituee 
d r elements de triangle, lesdits ecarts etant mesures par rapport 

25 a des points de certaines aretes constituant des generateurs du 
contour en trois dimensions. 

10. Precede selon l'une quelconque des revendications 1 
a 9, caracterise en ce qu'il est applique k la recanstitution des 
contours surfaciques de plusieurs dbjets lies entre eux par des 

30 relations de transformation rigide et/ou eiastique. 

11. Procede selon l'une quelconque des revendications 1 
a 10, caracterise en ce qu'il est applique & la recanstitution 
d ! images d'os. 
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12. Systeme de traitement d' images, caract£ris6 en ce 
qu'il comporte des moyens pour la raise en oeuvre du procede selon 
l ! une quelconque des revendi cations 1 & 11. 
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Fig 3C 
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